package com.push.web.base;

/**
 * @类名 BaseCrawler
 * @描述 爬虫 base
 * @作者 wang yanxi
 * @版本 1.0
 * @日期 2021-8-9 15:44
 */

import com.push.common.utils.EncryptUtil;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public abstract class BaseCrawler extends CrawlerSupport implements PageProcessor {
    /**
     * 创建一个爬虫
     *
     *  创建一个 Spider 来进行启动爬虫
     *
     * @return Spider
     */
    public abstract Spider createCrawler();

    /**
     * encrypt 一个 value，用于 data key 的生成
     *
     * @param text
     * @return
     */
    protected String encrypt(String text) {
        return EncryptUtil.encrypt(text, "md5");
    }
}
